!shred -u setup_colab.py
!shred -u setup_colab_general.py
!wget -q "https://github.com/jpcano1/python_utils/raw/main/setup_colab_general.py" -O setup_colab_general.py
!wget -q "https://github.com/jpcano1/python_utils/raw/main/MINE_4101/setup_colab.py" -O setup_colab.py
!pip install -q https://github.com/pandas-profiling/pandas-profiling/archive/master.zip
- Taller realizado por Carlos Andrés Salazar Aroca y por Juan Pablo Cano
import setup_colab as setup
import pandas as pd
import numpy as np
import pandas_profiling as pp
import matplotlib.pyplot as plt
plt.style.use("seaborn-deep")
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import GridSearchCV
from sklearn.preprocessing import LabelEncoder, LabelBinarizer
from sklearn.model_selection import StratifiedShuffleSplit
from sklearn.metrics import recall_score, precision_score, confusion_matrix
from sklearn.utils import resample
df = pd.read_excel('data_parcial.xlsx')
df.head()
df.shape
Perfilamiento¶
Se encontraron variables altamente correlacionadas entre sí por lo que se decide optar por dejar solo una variable entre estas correlacionadas de manera que se reduzca la complejidad del modelo, para escoger esta variable se tuvo en cuenta la cantidad de valores nulos con los que contaba. Asimismo, se elimina la columna CUENTA_TDC que indica el número de cuenta TDC lo cual viene siendo como un identificador. Se encontró que la columna HABITO_PAGO_TDC cuenta con anomalías en pocas, por lo que se decidió removerlos en lugar de dejarlos.
pp.ProfileReport(df)
Variables categóricas¶
- HABITO_PAGO_TDC
- Edad
- Y
- NUM_MESES_SIN_MORA_3
- NUM_MESES_SIN_MORA_6
- NUM_MESES_SIN_MORA_12
- estrato
- NOMBRE_CIUDAD
- DEPARTAMENTO
- ACT_ECO
- SEXO
- NIVEL_EST
Columnas de interés¶
Con base al resultado del perfilamiento se seleccionaron las columnas de interés
def nullValues(df):
total = df.isnull().sum().sort_values(ascending=False)
percent = (df.isnull().sum()/df.isnull().count()).sort_values(ascending=False)
missing_data = pd.concat([total, percent], axis=1, keys=['Total', 'Percent'])
return missing_data
missing_data = nullValues(df)
missing_data
no_interes = ['CUENTA_TDC','ALTURA_MORA_SBG','ALTURA_MORA_CC',
'NUM_MESES_SIN_MORA_6','NUM_MESES_SIN_MORA_3',
'ALTURA_MOR_MAX','SALDO_TDC','SALDO_CC','SALDO_SBG',
'CUPO_TDC','CUPO_CC','CUPO_SBG','UTIL_TOTAL',
'SALDO_TOTAL','CUPO_TOTAL','MORA_MAX_N_12','MAX_CUPO_TDC_3',
'MAX_CUPO_TDC_12','NOMBRE_CIUDAD','MAX_CUPO_TDC_6']
df = df[[col for col in df.columns if col not in no_interes]]
df.head()
df = df.query("HABITO_PAGO_TDC not in ['A', 'B', 'C', 'D', 'E']")
Problemas de calidad de los datos¶
- Había problemas con la cantidad de variables correlacionadas los cuales fueron solucionados eligiendo una variable de todas estas correlacionadas.
- Había variables con un porcentaje superior al 80% de valores nulos (ALTURA_MORA_SBG, ALTURA_MORA_CC)
- La variable que indica si el cliente se pierde por mal comportamiento o no cuenta con un 94% de valores como 0, es decir el 94% de los datos son de clientes que no se pierden por mal comportamiento lo que claramente indica que hay un desbalanceo en el dataset
def comunes(df):
max_valu = []
max_qty = []
for col in df:
count = df[col].value_counts()
max_valu.append(list(count.index)[0])
max_qty.append(count.max()/count.sum())
ans = pd.DataFrame({'Comun':max_valu,'P.Apariciones':max_qty},index=list(df.columns))
return ans
comunes(df)
Entendimiento del negocio¶
Financiera de los Alpes, es una empresa del sector financiero, que ofrece tres productos: TDC (tarjeta de crédito), CC (crédito de consumo o de libre inversión) y SBG (sobregiro). Esa empresa, desea generar estrategias comerciales que permitan reducir el número de clientes perdidos por mal comportamiento crediticio, es decir, clientes con una altura de mora mayor a 90 días en algunos de sus productos. Cuando esta situación ocurre, la entidad bloquea todos los productos de ese cliente y no es posible cambiar su estado, llevando a la pérdida definitiva del cliente. La empresa está buscando reducir la cantidad de clientes perdidos por mal comportamiento crediticio con estrategias basadas en las características de los clientes a perderse.
Hipótesis de interés¶
- La variable dependiente (Y) depende del estrato y del departamento del cliente.
- El número de meses sin mora en el último año, el sexo y la edad tienen influencia sobre la variable objetivo
- Los días de mora en la tarjeta de crédito (ALTURA_MORA_TDC), el porcentaje de uso de la tarjeta de crédito (UTIL_TDC) y el estrato hacen que el cliente sea más propenso a perderse por mal comportamiento crediticio
Hipótesis seleccionada¶
La hipótesis seleccionada es la hipótesis #3. Los días de mora en la tarjeta de crédito (ALTURA_MORA_TDC), el porcentaje de uso de la tarjeta de crédito (UTIL_TDC) y el estrato hacen que el cliente sea más propenso a perderse por mal comportamiento crediticio, el modelo seleccionado para validarla es random forest pues se cuenta con el software y los recursos computacionales para implementarlo, conocimiento personal y experiencia con este modelo en casos similares y con resultados satisfactorios.
df.dropna(inplace=True)
X = df.drop("Y", axis=1)
y = df["Y"]
X.head()
encoder = LabelEncoder()
X["HABITO_PAGO_TDC"] = X["HABITO_PAGO_TDC"].astype("int")
X["DEPARTAMENTO"] = encoder.fit_transform(X["DEPARTAMENTO"])
X["ACT_ECO"] = encoder.fit_transform(X["ACT_ECO"])
X["SEXO"] = encoder.fit_transform(X["SEXO"])
X["NIVEL_EST"] = encoder.fit_transform(X["NIVEL_EST"])
X.head()
Proceso de Contrucción de Modelo¶
- De acuerdo con nuestras hipótesis de negocio, decidimos utilizar las variables "estrato", "ALTURA_MORA_TDC" y "UTIL_TDC" porque son las que más relevancia van a dar a nuestro análisis.
- Se utilizó un LabelEncoder para transformar variables categóricas de cadenas de caracteres a enteros por categoría. De igual forma, se dividió el dataset usando una partición estratificada.
- Esta separación es importante porque con una parte hacemos el entrenamiento del dataset y con la otra parte validamos que los resultados del entrenamiento hayan sido buenos. Para cada uno de los datos incluimos todas las variables nombradas en el anterior punto.
- Para mejorar el pronóstico entrenamos un RandomForest con datos desbalanceados y con datos balanceados con Resampling. Primero, hicimos una búsqueda en cuadrícula cambiando los parámetros "n_estimators", "criterion" y "max_depth" y verificando el recall durante la búsqueda. Luego, hicimos uso de la función de resample para disminuir el número de muestras con clase negativa y hacer ambas clases balanceadas. Hicimos nuevamente la búsqueda en cuadrícula en búsqueda de los mejores hiperparámetros y al final utilizamos el recall como métrica de validación de los mejores hiperparámetros.
total = pd.concat([X, y], axis=1)
total = total[["estrato", "ALTURA_MORA_TDC", "UTIL_TDC", "Y"]]
X = total.drop("Y", axis=1)
y = total["Y"]
sss = StratifiedShuffleSplit(test_size=0.2)
for train_index, test_index in sss.split(X, y):
pass
X_train , X_test = X.iloc[train_index], X.iloc[test_index]
y_train, y_test = y.iloc[train_index], y.iloc[test_index]
Sin Downsampling¶
forest_clf = RandomForestClassifier(n_jobs=-1)
forest_clf.fit(X_train, y_train)
y_pred = forest_clf.predict(X_test)
conf_matrix = confusion_matrix(y_test, y_pred)
plt.matshow(conf_matrix, cmap="gray")
plt.show()
norm_conf_mat = conf_matrix / conf_matrix.sum(axis=1, keepdims=True)
np.fill_diagonal(norm_conf_mat, 0)
plt.matshow(norm_conf_mat, cmap="gray")
plt.show()
recall_score(y_test, y_pred)
precision_score(y_test, y_pred)
params = {
"n_estimators": range(100, 201, 50),
"criterion": ["gini", "entropy"],
"max_depth": range(50, 101, 10)
}
grid_search = GridSearchCV(RandomForestClassifier(), params, scoring="recall",
n_jobs=-1, verbose=1)
grid_search.fit(X_train, y_train)
grid_search.best_score_
forest_clf = grid_search.best_estimator_
y_pred = forest_clf.predict(X_test)
conf_matrix = confusion_matrix(y_test, y_pred)
plt.matshow(conf_matrix, cmap="gray")
plt.show()
recall_score(y_test, y_pred)
precision_score(y_test, y_pred)
Con Downsampling¶
total_train = pd.concat([X_train, y_train], axis=1)
neg_class = total_train.query("Y==0")
pos_class = total_train.query("Y==1")
neg_class_downsampled = resample(neg_class, replace=False,
n_samples=len(pos_class), random_state=1234)
total_train = pd.concat([pos_class, neg_class_downsampled])
X_train = total_train.drop("Y", axis=1)
y_train = total_train["Y"]
grid_search = GridSearchCV(RandomForestClassifier(), params, scoring="recall",
n_jobs=-1, verbose=1)
grid_search.fit(X_train, y_train)
grid_search.best_score_
forest_clf = grid_search.best_estimator_
y_pred = forest_clf.predict(X_test)
conf_matrix = confusion_matrix(y_test, y_pred)
plt.matshow(conf_matrix, cmap="gray")
plt.show()
recall_score(y_test, y_pred)
precision_score(y_test, y_pred)
Evaluación del modelo¶
Creemos que para el negocio es más importante tener un buen recall que una buena precisión pues para el negocio es peor perder un cliente que no se identificó de manera adecuada como cliente propenso a perderse que fallar diciendo que un cliente es un cliente propenso a perderse así no lo sea.
Para el primer modelo obtenido sin GridSearch se obtuvo una precisión y recall muy bajos (22% ambos) lo cual no es para nada una herramienta útil para el negocio.
Para el segundo modelo se hizo GridSearch de manera que se pudiera encontrar la mejor combinación de hiperparámetros para obtener un buen recall. Sin embargo, este recall solo aumentó un 4% con respecto al primer modelo.
Finalmente, se probó haciendo downsampling sobre el conjunto de entrenamiento y se buscó nuevamente con GridSearch la combinación de hiperparámetros que maximizara el recall, el mejor modelo obtenido obtuvo un recall del 70% y una precisión del 10%.
Los resultados obtenidos, a pesar de que la métrica a maximizar es el recall, no son del todo buenos pues, para el mejor modelo obtenido (el último), una precisión tan baja no es bien compensada por el recall obtenido y además implica que el modelo es propenso a presentar muchos falsos positivos.
Resultados del Negocio en el ejercicio¶
- Los resultados del ejercicio se podrían utilizar en el negocio para descartar las características que tiene un cliente propenso a perderse y más bien establecerlas como las características que tiene un cliente NO propenso.
- El modelo obtenido puede ser usado como herramienta. Sin embargo, es muy probable que se clasifiquen demasiados clientes no propensos a perderse como clientes propensos a perderse.
- Dado que hubo un alto recall, es muy posible que un cliente con buenas estadísticas sea clasificado como propenso a perderse, lo que podría generar molestias en varios buenos clientes de la agencia. Por lo tanto, es necesario que haya mejor cantidad de datos para que haya una precisión y una cobertura en los resultados de nuestro modelos.